¿Qué es la Investigación Reproducible?

Investigación Reproducible

¿Qué se entiende por un estudio Reproducible y Replicable?

Reproducible

Los autores entregan todos los datos necesarios y los códigos computacionales para realizar el análisis nuevamente, recreando los resultados.

Replicable

Un estudio que llega a los mismos hallazgos científicos que otro estudio, recolectando nuevos datos (posiblemente con diferentes métodos) y completando nuevos análisis.

Clases de Reproducibilidad

• Reproducibilidad Computacional: Cuando se proporciona información detallada sobre el código, software, hardware y detalles de la implementación

• Reproducibilidad Empírica: Cuando se proporciona información detallada sobre experimentos y observaciones científicas empíricas no computacionales. En la práctica, esto se ocurre al hacer que los datos y los detalles de cómo se recopilaron estén disponibles de forma gratuita.

• Reproducibilidad Estadística: Cuando se proporciona información detallada, por ejemplo, sobre la elección de pruebas estadísticas, parámetros del modelo y valores de umbral. Esto se relaciona principalmente con el registro previo del diseño del estudio para evitar la práctica de p-value hacking y otras manipulaciones.

Reproducibilidad

Reproducibilidad

Ventajas y dificultades

Etapas de una Investigación Reproducible

Ciencia Abierta

“1.500 scientist lift the lid on reproducibility”

Difusión y citas

Datos Abiertos

Solo una proporción muy pequeña de los datos originales se publica en revistas convencionales o investigaciones públicas. A pesar de las políticas existentes sobre el archivo de datos, en la actualidad, los datos se almacenan principalmente en archivos privados, no en repositorios institucionales seguros, y se pierde a ellos por parte del público general.

Esta falta de intercambio de datos es un obstáculo para la investigación internacional (ya sea académica, gubernamental o comercial) por dos razones principales:

• Generalmente es difícil o imposible reproducir un estudio sin los datos originales.

• Los datos no pueden ser reutilizados o incorporados en nuevos trabajos por otros investigadores si no pueden acceder a ellos.

Barreras para el intercambio de datos

Software de Código abierto

Cuando un proyecto es de código abierto, cualquiera puede ver, usar, modificar y distribuir el proyecto para cualquier propósito. Estos permisos se aplican a través de una licencia de código abierto

¿Cómo los software de código abierto benefician la investigación?

Espectro de Reproducibilidad

R project

https://cran.dcc.uchile.cl/

RSudio IDE

https://posit.co/download/rstudio-desktop/

Existen otras alternativas más génericas como Visual Studio Code, un editor de código para múltiples lenguajes. Sin embargo, al no ser un software especializado en R, requiere utilizar extensiones para lograr las funcionalidad que otorga RStudio.

Quarto

https://quarto.org/docs/get-started/

Git & Github

• Git

• Github CLI

• Github Desktop

• Repositorio para este curso

Control de versiones

Git

Motivación para utilizar control de versiones

• Es primordial para seguir la procedencia de la información.

• Crea versiones históricas que nos permiten entender que cambios fueron realizados.

• Facilita el manejo de distintas versiones de archivos.

• Permite seguir y combinar cambios realizados por distintas personas.

Flujo de trabajo

El control de versiones es un enfoque sistemático para registrar los cambios realizados en un archivo o conjunto de archivos a lo largo del tiempo.

Un flujo de trabajo típico para usar control de versiones es:

1. Crear archivos
2. Trabajar sobre estos archivos
3. Crear un snapshot del estado del archivo (también llamado versión)
4. Documentar que cambios fueron realizados en el historial de la versión del archivo

Elementos de Git

• Repositorio: Lugar donde se almacenan todos los archivos, carpetas e historial del proyecto.

• Commit: Registro de los cambios realizados en los archivos del proyecto en un momento específico.

• Ramas (o “Branches”): Espacios de trabajo independientes del desarrollo principal.

• Fusiones (o “Merges”): Representa la acción de incorporar los cambios de una Rama (Branch) a otra.

• Repositorios remotos: Copias del repositorio almacenadas en un servidor central o en otros equipos.

Repositorio

Ramas (Branches)

Sub-ramas (Sub-Branches)

¿Cómo uso Git y Github?

Conectar RStudio con Github

Para guardar nuestras versiones en Github debemos seguir los siguientes pasos:

1. Crear un token de acceso personal (PAT) en Github

2. Almacener el token de acceso personal (PAT)

3. Crear repositorio en Github (via web o aplicación de escritorio)

4. Crear nuevo proyecto (Versión de control > Git > URL del repositorio)

Push & Pull

Git para proyectos de investigación

• Versiones para conjuntos de datos, requieren especial cuidado
• Estructura de carpetas específician ayudan en el flujo de trabajo

Estructura de un repositorio

• Open Science Framework

Conectar RStudio y Github

1. Crear una cuenta en GitHub
2. Crear un token de acceso personal (PAT) en GitHub

library(usethis)
create_github_token()

library(gitcreds)
gitcreds::gitcreds_set()

RStudio

1. Tener un proyecto local
2. Realizar un commit inicial
3. Escribir:

library(usethis)
usethis::use_github()

Control de versiones para datos

::: {.notes}

Hablamos de que controlar las versiones de los componentes de proyectos en evolución podría ayudar a hacer el trabajo más organizado, eficiente, colaborativo y reproducible. Sin embargo, muchos proyectos científicos no solo contienen código, manuscritos u otros archivos de tamaño pequeño, sino que contienen archivos más grandes como grandes conjuntos de datos, resultados de análisis o archivos binarios (presentaciones, manuscritos, PDFs) que pueden cambiar o actualizarse en un proyecto al igual que otros componentes de texto de tamaño pequeño. En este capítulo, discutimos por qué y cómo hacer versionado de datos, especialmente por qué Git no es adecuado para el versionado de datos y qué se puede hacer al respecto.

:::

Importancia del control de versiones para datos

• Los datos utilizados en los análisis no son estáticos

• Los datos pueden mutar no sólo debido a que se ingresa nueva información

• En muchas investigaciones se desea experimentar con diferentes versiones del mismo conjunto de datos

• Controlar las versiones de conjuntos de datos o de archivos grandes ayuda a la reproducibilidad de un proyecto

Desafíos en el control de versiones para datos

La principal limitación que tiene Git es que conforme la cantidad y tamaño de los archivos en el proyecto crecen, se vuelve impracticable el control de versiones.

• Usualmente un repositorio se considera grande cuando su tamaño es sobre 1 TB

Herramientas en el control de versiones para datos

Entre las herramientas más usadas para el control de versiones para grandes archivos están:

• Data Version Control: Particularmente útil cuando se trabaja con muchos modelos, pues puede registrar el desempeño de modelos pre-establecidos commit tras commit.

• Git Large File Storage: Tal como Git, pero desarrollado para ser escalable.

Administración de datos de investigación

El estándar para investigaciones reproducibles es que los datos cumplan con los principios FAIR

FAIR

“The FAIR Guiding Principles for scientific data management and stewardship”

Ambientes reproducibles

Cada computador es un ambiente computacional único que consiste de un sistema operativo, los softwares instalados, sus respectivas versiones entre otras características.

¿Qué es un ambiente computacional?

En términos generales, un ambiente computacional es un sistema donde un programa se ejecuta. Esto incluye las características de hardware y software

Replicar los ambientes computacionales tendrá un potencial impacto en:

• Investigadores

• Colaboradores

Capturando el ambiente computacional

Categorías:

Sistema de admininistración de paquetes

Ejemplos:

• Conda
• Posit Package Manager
• Metrum Package Network via pkgr
• Packrat
• Renv

Binder

Binder requiere que el software (y óptimamente, sus versiones) necesario para ejecutar un proyecto sea especificado.

Máquinas virtuales

Contenedores

Ejemplos: Renv

1. Creamos un nuevo proyecto
2. Seleccionamos la opción de utilizar renv en el nuevo proyecto
3. Alternativamente podemos utilizar el comando renv::init() para proyectos existentes
4. Trabajamos en el código, instalando o sacando paquetes conforme sea necesario
5. Usamos el comando renv::snapshot() para capturar el ambiente

• El comando renv::init() tendremos opciones para restaurar, descartar o activar el ambiente computacional
• El comando renv::dependencies() nos entrega los paquetes de los cuales depende nuestro proyecto.

Ejemplos: Conda

1. Instalar Anaconda
2. Seleccionar pestaña Environment
3. Crear ambiente de proyecto (R, Python o ambos)
4. Utilizar RStudio desde anaconda.

BinderHub

Caso práctico

¿Que es LaTeX?

Software de composición de textos

LaTeX vs Word

LaTeX vs Word

Instalación de LaTeX

\(\LaTeX\) local:

• MiKTEX:

• TexLive:

Instalación de LaTeX

\(\LaTeX\) online:

• Overleaf:

• Papeeria:

Usos de Latex

• Documentos Académicos

• Libros y Revistas

• Presentaciones

• Documentos Técnicos

• Documentos Matemáticos y Científicos

• Cartas y Documentos Formales

• Generación Automatizada de Documentos

Herramientas para escribir en LaTeX

Definidos como Editores de texto, consisten en la aplicación que le permite a un usuario escribir el LaTeX.

Elementos basicos de LaTeX

Estructura básica de LaTeX

Formato

Definición del Documento de LaTeX: documentclass{ }

\documentclass{article}

Paquetes: usepackage{ }

Algunas funciones requieren de paquetes (librerías) para que el software las reconozca. Para aprovechar estas funciones se debe especificar que paquetes deben ser reconocidos a la hora de compilar el documento

\usepackage{package}

Paquetes principales

Templates

Ejemplo básico

Creación del Documento y definición de parámetros.

\documentclass{article}  %Definición del Documento

\usepackage[spanish]{babel}  %Configuración de Idioma

\usepackage[letterpaper,
            top=2cm,
            bottom=2cm,
            left=3cm,
            right=3cm,
            marginparwidth=1.75cm]{geometry} %Parámetros 

%Paquetes de ejemplo

\usepackage[utf8]{inputenc}
\usepackage{underscore}
\usepackage{amsmath}
\usepackage{graphicx}
\usepackage[colorlinks=true, allcolors=blue]{hyperref}
\usepackage{datetime}
\usepackage{ragged2e}
\usepackage{parskip}
\newdateformat{monthyeardate}{%
\monthname[\THEMONTH], \THEYEAR}

\title{Latex}  %Titulo
\author{Eloy Alvarado}      %Autor

\begin{document}  %Inicio del Contenido

Portada

\begin{titlepage} %Inicio portada

%Imagen
\begin{figure}[h]
\vspace{10mm}  %Espacio Vertical
\centering
\includegraphics[scale=0.15]{logo_usm.png} %Logo USM
\end{figure}

\vspace{50mm}
\begin{center} 
\hrule         %Linea Horizontal
\vspace{2mm}
{\Huge \textbf{\sc Presentación}}\\ %Titulo
\vspace{2mm}
{\Large \sc{Latex}}
\vspace{2mm}
\hrule
\vspace{1cm}


\centering
\textbf{Autor:     Eloy Alvarado} \\ %Autor

\vfill
\textsc{\monthyeardate\today}\\[0.5cm] %Fecha
\end{center}


\end{titlepage}

Contenido

\section{Contenido}

\justifying
En este documento de LaTeX, se presenta de manera 
detallada y exhaustiva el contenido que se puede 
incluir en el mismo. A través del lenguaje de 
marcado LaTeX, es posible crear y formatear textos
de forma justificada, permitiendo así una 
presentación clara y profesional. Además, LaTeX 
ofrece la flexibilidad para incorporar fórmulas
matemáticas dentro del propio texto, lo que resulta 
especialmente útil para expresar
conceptos matemáticos de manera precisa y elegante.

\subsection{Formato de Texto}
LaTeX entrega la libertad de modificar el texto 
según las necesidades de quien edita, permitiendo: 

\begin{itemize}
    \item Textos centrados:
    
            LaTeX \centering

    \item Textos a la derecha: \justifying

            LaTeX \raggedleft

    \item Textos en Negrita: \textbf{LaTeX} 
    \justifying

    \item Textos en Cursiva: \textit{LaTeX}  

    \item Textos en otra tipografía: \texttt{LaTeX}
\end{itemize}

Entre muchas opciones más.

\justifying
\subsection{Matemática}

Respecto a la matemática, la principal 
de este software, existen múltiples de 
materializarla.

\vspace{10mm}

\textbf{Modo de ecuación numerada}: para que 
el documento asocie la ecuación a un numero de 
forma automática permitiendo hacer referencia
a ella en el texto.

\centering
\begin{math}
\sqrt{x^2+1}
\end{math}

\justifying

\vspace{10mm}

\textbf{Modo de ecuación sin enumerado}: Para que 
quede centrada y quede en una linea separada, 
dandole mas enfasís.

\[\sqrt{x^2+1}\] 

$$\sqrt{x^2+1}$$

\textbf{Modo en línea}: para incluir formulas
dentro del texto $\sqrt{x^2+1}$

\end{document}

Texto

El texto en Latex se escribe directamente, si es que no se le desea asignar algún formato.

El término neolatino 'Plantae' y el castellano 'plantas' 
derivan del latín planta (brote, retoño), plantare 
(quedarse allí donde las plantas de los pies tocan el suelo).
Desde este punto de vista, podríamos llamar planta a cualquier
ser plantado en el suelo o en un sustrato; sin embargo, 
podemos ver excepciones en algunos briófitos y en la angiosperma
lenteja de agua, que no están fijos, pero los consideramos plantas.

Texto

Para destacar y darle un formato especifico al texto anterior existen múltiples comandos, siendo los principales

\textbf{Texto en Negrita}
\textit{Texto en Cursiva}

Ajustando el texto anterior

El término neolatino \textit{'Plantae'} y el castellano \textit{'plantas'} 
derivan del latín \textbf{planta} (brote, retoño), \textbf{plantare} 
(quedarse allí donde las plantas de los pies tocan el suelo).
Desde este punto de vista, podríamos llamar planta a cualquier
ser plantado en el suelo o en un sustrato; sin embargo, 
podemos ver excepciones en algunos \textbf{briófitos} y en la \textbf{angiosperma}
lenteja de agua, que no están fijos, pero los consideramos plantas.

Parrafos

Para separar párrafos en LaTeX, basta con colocar una linea en blanco entre párrafos.

...sin embargo, podemos ver excepciones en algunos \textbf{briófitos} y 
en la \textbf{angiosperma} lenteja de agua, que no están fijos, pero 
los consideramos plantas.

Por otro lado, el concepto moderno de planta, viene del sistema de 
clasificación de Haeckel, quien descarta el antiguo reino vegetal,
creando un nuevo reino Plantae con un sentido más natural y con sus
características comunes, por lo que este nuevo reino no admite como
miembros a otros organismos que no están relacionados con las plantas
terrestres, como sucede con las bacterias, los hongos y las protistas en general.

Jerarquía de Texto

LaTeX basa su jerarquía en Secciones y Subsecciones, las cuales son ordenadas automáticamente según el orden lógico que siguen.

\section{Planeta}
Tierra

\subsection{Pais}
Chile

\subsubsection{Ciudad}
Santiago de Chile

Listados

Los elementos de estos listados se denominan items:

\subsubsection{Números}

\begin{enumerate}
  \item Uno
  \item Dos
  \item Tres
\end{enumerate}

\subsubsection{Animales}

\begin{itemize}
  \item León
  \item Perro
  \item Gato
\end{itemize}

Referencias y Bibliografia

@article{Smith2021,  %Identificador de Referencia
  author = {John Smith and María López},
  title = {Environmental Challenges in Chile: A Case Study of the Atacama Desert},
  journal = {Environmental Science Journal},
  volume = {25},
  number = {3},
  pages = {201--215},
  year = {2021},
  doi = {10.12345/esj.2021.25.3.201},
  publisher = {Springer}
}

\cite{Smith2021}

Gestión Bibliográfica

• JabRef
• Zotero
• Mendeley

Bibliografía

Para incorporar la bibliografía al texto incluímos:

\bibliographystyle{plain}
\bibliography{refs}

Escritura técnica

\begin{equation}
z=\overbrace{\underbrace{x}_\text{real}+
i\underbrace{y}_\text{imaginario}}
^\text{numero complejo}
\end{equation}

\begin{equation}
A \xleftarrow{\text{Izquierda}} B 
  \xrightarrow[\text{Derecha}]{ } C
\end{equation}

\begin{equation}
  x = a_0 + \frac{1}{a_1 +
  \frac{1}{a_2 +
  \frac{1}{a_3 + a_4}}}
\end{equation}

Overleaf + GitHub

Overleaf tiene integraciones con distintas herramientas:

• Dropbox
• GitHub
• Mendeley
• Zotero

Ejercicio práctico

La discusión eterna

R + Python

R y Python no son mutuamente excluyentes

Código python en R

install.packages("reticulate")

library(reticulate)
use_python("/home/ealvnrz/anaconda3/bin/python")

py_run_string("def Psq (x):
                value= x*x
                return(value)")

py$Psq(3)

Programando en R

Para una introducción a R, ver Introducción a R del R Development Core Team

Tipos de Datos

Estructuras de Datos

Coerción

¿Qué producirá el siguiente código?:

ex <- c(2,6,"3")

[1] "2" "6" "3"

Listas

Las listas puede guardar objetos de cualquier tipo o clase

list(1, "a", TRUE)

[[1]]
[1] 1

[[2]]
[1] "a"

[[3]]
[1] TRUE

Objectos S3, S4 Y S6

Las matrices y listas tienen un tipo base inmutable. En contraste, en R existen los objetos S3, S4 y S6; siendo S3 el más común.

df <- data.frame(id = 1:3, 
                 tratamiento = c("a", "b", "b"), 
                 estado = c(TRUE, TRUE, FALSE))
df

  id tratamiento estado
1  1           a   TRUE
2  2           b   TRUE
3  3           b  FALSE

Data.frames

typeof(df)

[1] "list"

class(df)

[1] "data.frame"

sloop::otype(df)

[1] "S3"

Flujo de trabajo

Principios

• tibbles como estructura principal de datos
• Tidy data, donde las filas son observaciones particulares y las columnas las variables observadas
• Canalizar las salidas de las funciones como entradas de otras.

Núcleo de Tidyverse

Tibble

Sus características principales son:

• Mejor comportamiento en su impresión
• No permite la coerción de caracteres a factores
• Manejo los errores de manera más robusta

Data.frame a tibble

trees_tbl <- tibble::as_tibble(datasets::trees)
trees_tbl

# A tibble: 31 × 3
   Girth Height Volume
   <dbl>  <dbl>  <dbl>
 1   8.3     70   10.3
 2   8.6     65   10.3
 3   8.8     63   10.2
 4  10.5     72   16.4
 5  10.7     81   18.8
 6  10.8     83   19.7
 7  11       66   15.6
 8  11       75   18.2
 9  11.1     80   22.6
10  11.2     75   19.9
# ℹ 21 more rows

tibble::tibble(
    x = 1:5, 
    y = 1, 
    z = x ^ 2 + y
)

# A tibble: 5 × 3
      x     y     z
  <int> <dbl> <dbl>
1     1     1     2
2     2     1     5
3     3     1    10
4     4     1    17
5     5     1    26

readr

Funciones de lectura

Funciones de escritura

Otro tipos de datos

Existen otros paquetes que nos permiten leer archivos en distintos formatos, entre ellos:

dplyr

Entre las funciones más utilizadas en este paquete se encuentras:

• %>%
• group_by & filter
• mutate
• select

tidyr

ggplot2

ggplot(data.frame, aes(nombres_de_columna)) + geom_algo(argumentos, 
    aes(columnas))

ggplot2

Diagrama general

Diagrama general

Tidymodels

• rsample nos entrega herramientas para realizar diferentes tipos de muestreo
• recipes nos entrega herramientas para organizar el preprocesamiento y el feature engineering
• parsnip nos entrega herramientas para definir modelos
• yardstick nos entrega herramientas para calcular métricas de desempeño de los modelos
• workflows nos entrega herramientas para combinar las etapas de preprocesamiento y creación de modelos

parsnip

Podemos utilizar parsnip_addin() para ver los modelos compatibles con el paquete.

recipes

Ejemplo práctico

library(tidyverse)
library(palmerpenguins)
penguins

# A tibble: 344 × 8
   species island    bill_length_mm bill_depth_mm flipper_length_mm body_mass_g
   <fct>   <fct>              <dbl>         <dbl>             <int>       <int>
 1 Adelie  Torgersen           39.1          18.7               181        3750
 2 Adelie  Torgersen           39.5          17.4               186        3800
 3 Adelie  Torgersen           40.3          18                 195        3250
 4 Adelie  Torgersen           NA            NA                  NA          NA
 5 Adelie  Torgersen           36.7          19.3               193        3450
 6 Adelie  Torgersen           39.3          20.6               190        3650
 7 Adelie  Torgersen           38.9          17.8               181        3625
 8 Adelie  Torgersen           39.2          19.6               195        4675
 9 Adelie  Torgersen           34.1          18.1               193        3475
10 Adelie  Torgersen           42            20.2               190        4250
# ℹ 334 more rows
# ℹ 2 more variables: sex <fct>, year <int>

Explorando los datos

penguins %>%
  filter(!is.na(sex)) %>%
  ggplot(aes(flipper_length_mm, bill_length_mm, color = sex, size = body_mass_g)) +
  geom_point(alpha = 0.5) +
  facet_wrap(~species)

penguins_df <- penguins %>%
  filter(!is.na(sex)) %>%
  select(-island)

Construyendo un modelo

Separación conjunto de entrenamiento y prueba

library(tidymodels)
set.seed(123)
penguin_split <- initial_split(penguins_df, strata = sex)
penguin_train <- training(penguin_split)
penguin_test <- testing(penguin_split)
penguin_split

<Training/Testing/Total>
<249/84/333>

Remuestreo de los datos

set.seed(123)
penguin_boot <- bootstraps(penguin_train)
penguin_boot

# Bootstrap sampling 
# A tibble: 25 × 2
   splits           id         
   <list>           <chr>      
 1 <split [249/93]> Bootstrap01
 2 <split [249/91]> Bootstrap02
 3 <split [249/90]> Bootstrap03
 4 <split [249/91]> Bootstrap04
 5 <split [249/85]> Bootstrap05
 6 <split [249/87]> Bootstrap06
 7 <split [249/94]> Bootstrap07
 8 <split [249/88]> Bootstrap08
 9 <split [249/95]> Bootstrap09
10 <split [249/89]> Bootstrap10
# ℹ 15 more rows

Definimiendo modelos

glm_spec <- logistic_reg() %>%
  set_engine("glm")
glm_spec

Logistic Regression Model Specification (classification)

Computational engine: glm 

rf_spec <- rand_forest() %>%
  set_mode("classification") %>%
  set_engine("ranger")
rf_spec

Random Forest Model Specification (classification)

Computational engine: ranger 

Flujo de trabajo

penguin_wf <- workflow() %>%
  add_formula(sex ~ .)
penguin_wf

══ Workflow ════════════════════════════════════════════════════════════════════
Preprocessor: Formula
Model: None

── Preprocessor ────────────────────────────────────────────────────────────────
sex ~ .

glm_rs <- penguin_wf %>%
  add_model(glm_spec) %>%
  fit_resamples(
    resamples = penguin_boot,
    control = control_resamples(save_pred = TRUE)
  )
glm_rs

# Resampling results
# Bootstrap sampling 
# A tibble: 25 × 5
   splits           id          .metrics         .notes           .predictions
   <list>           <chr>       <list>           <list>           <list>      
 1 <split [249/93]> Bootstrap01 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 2 <split [249/91]> Bootstrap02 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 3 <split [249/90]> Bootstrap03 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 4 <split [249/91]> Bootstrap04 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 5 <split [249/85]> Bootstrap05 <tibble [2 × 4]> <tibble [1 × 3]> <tibble>    
 6 <split [249/87]> Bootstrap06 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 7 <split [249/94]> Bootstrap07 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 8 <split [249/88]> Bootstrap08 <tibble [2 × 4]> <tibble [1 × 3]> <tibble>    
 9 <split [249/95]> Bootstrap09 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
10 <split [249/89]> Bootstrap10 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
# ℹ 15 more rows

There were issues with some computations:

  - Warning(s) x3: glm.fit: fitted probabilities numerically 0 or 1 occurred

Run `show_notes(.Last.tune.result)` for more information.

Flujo de trabajo

rf_rs <- penguin_wf %>%
  add_model(rf_spec) %>%
  fit_resamples(
    resamples = penguin_boot,
    control = control_resamples(save_pred = TRUE)
  )
rf_rs

# Resampling results
# Bootstrap sampling 
# A tibble: 25 × 5
   splits           id          .metrics         .notes           .predictions
   <list>           <chr>       <list>           <list>           <list>      
 1 <split [249/93]> Bootstrap01 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 2 <split [249/91]> Bootstrap02 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 3 <split [249/90]> Bootstrap03 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 4 <split [249/91]> Bootstrap04 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 5 <split [249/85]> Bootstrap05 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 6 <split [249/87]> Bootstrap06 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 7 <split [249/94]> Bootstrap07 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 8 <split [249/88]> Bootstrap08 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
 9 <split [249/95]> Bootstrap09 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
10 <split [249/89]> Bootstrap10 <tibble [2 × 4]> <tibble [0 × 3]> <tibble>    
# ℹ 15 more rows

Evaluando los modelo

collect_metrics(rf_rs)

# A tibble: 2 × 6
  .metric  .estimator  mean     n std_err .config             
  <chr>    <chr>      <dbl> <int>   <dbl> <chr>               
1 accuracy binary     0.915    25 0.00561 Preprocessor1_Model1
2 roc_auc  binary     0.977    25 0.00212 Preprocessor1_Model1

collect_metrics(glm_rs)

# A tibble: 2 × 6
  .metric  .estimator  mean     n std_err .config             
  <chr>    <chr>      <dbl> <int>   <dbl> <chr>               
1 accuracy binary     0.916    25 0.00637 Preprocessor1_Model1
2 roc_auc  binary     0.978    25 0.00270 Preprocessor1_Model1

Revisando el modelo lineal

glm_rs %>%
  conf_mat_resampled()

# A tibble: 4 × 3
  Prediction Truth   Freq
  <fct>      <fct>  <dbl>
1 female     female 41.0 
2 female     male    3.08
3 male       female  4.52
4 male       male   42.2 

Probando el modelo

penguin_final <- penguin_wf %>%
  add_model(glm_spec) %>%
  last_fit(penguin_split)
penguin_final

# Resampling results
# Manual resampling 
# A tibble: 1 × 6
  splits           id               .metrics .notes   .predictions .workflow 
  <list>           <chr>            <list>   <list>   <list>       <list>    
1 <split [249/84]> train/test split <tibble> <tibble> <tibble>     <workflow>

collect_metrics(penguin_final)

# A tibble: 2 × 4
  .metric  .estimator .estimate .config             
  <chr>    <chr>          <dbl> <chr>               
1 accuracy binary         0.857 Preprocessor1_Model1
2 roc_auc  binary         0.939 Preprocessor1_Model1

collect_predictions(penguin_final) %>%
  conf_mat(sex, .pred_class)

          Truth
Prediction female male
    female     37    7
    male        5   35

Detalle del modelo

penguin_final$.workflow[[1]] %>%
  tidy(exponentiate = TRUE)

# A tibble: 8 × 5
  term              estimate std.error statistic    p.value
  <chr>                <dbl>     <dbl>     <dbl>      <dbl>
1 (Intercept)       2.22e+44 903.          0.113 0.910     
2 speciesChinstrap  1.33e- 4   2.35       -3.80  0.000147  
3 speciesGentoo     1.01e- 5   3.80       -3.03  0.00246   
4 bill_length_mm    1.91e+ 0   0.180       3.60  0.000321  
5 bill_depth_mm     8.08e+ 0   0.497       4.21  0.0000259 
6 flipper_length_mm 1.06e+ 0   0.0669      0.939 0.348     
7 body_mass_g       1.01e+ 0   0.00180     4.44  0.00000916
8 year              9.02e- 1   0.450      -0.228 0.819     

Cheatsheets

• readr
• ggplot2
• dplyr
• tidyr
• purrr
• stringr
• forcats
• lubridate
• RStudio IDE
• reticulate

Flujo de trabajo

Proceso usual de creación de modelos

Rmarkdown & Quarto

Algunos ejemplos

• Galería de ejemplos

Quarto

Los archivos Quarto fueron diseñados para ser usados de tres maneras:

1. Para comunicar a los tomadores de decisiones, quienes quieren centrarse en las conclusiones, no en el código detrás del análisis.

2. Para colaborar con otros investigadores, quienes están interesados en las conclusiones y el cómo se llego a ellas (i.e. el código)

3. Como un ambiente para hacer análisis, como un notebook donde se puede capturar el trabajo realizado junto a notas de este.

Primeros pasos

1. Entrar a Quarto.org
2. Descargar Quarto para su sistema operativo
3. Ingresar a RStudio y crear documento .qmd

Flujo documento Quarto

• qmd: archivo de origen
• knitr: Herramienta que interpreta y ejecuta códigos y lo traduce en texto markdown
• md: texto escrito en lenguaje markdown
• pandoc: Herramienta que convierte archivos .md enb distintos formatos

Anatomía de un documento Quarto

1. Encabezado en formato YAML
2. Texto en formato Quarto
3. Bloques de código (R, Python, Julia, Observable)

YAML

YAML es un formato de serialización de datos que puede ser leído fácilmente. Su uso es amplio, desde Acciones en GitHub hasta Quarto

Un ejemplo de YAML que difine un ambiente computacional podría ser:

# Define the operating system as Linux
os: linux

# Use the xenial distribution of Linux
dist: xenial

# Use the programming language Python
language: python

# Use version of Python 3.2
python: 3.2

Herramientas

El contenido del documento puede estar escrito utilizando diferentes formatos, entre ellos:

• Quarto
• HTML
• LaTeX
• CSS

Creación de documento básico

1. Abrir RStudio
2. File > New File > Quarto Document
3. Definir características del documento

Formato de Texto

*italics*, **bold**, ***bold italics***

superscript^2^ / subscript~2~

~~strikethrough~~

`verbatim code`

Encabezados

# Header 1

## Header 2

### Header 3

#### Header 4

##### Header 5

###### Header 6

Listas

(@)  Una lista cuyos números

continuan después

(@)  de una interrupción

::: {}
1. Una lista
:::

::: {}
1. Seguida de otra lista
:::

término
: definición

Tablas

Sintáxis Markdown

| Right | Left | Default | Center |
|------:|:-----|---------|:------:|
|   12  |  12  |    12   |    12  |
|  123  |  123 |   123   |   123  |
|    1  |    1 |     1   |     1  |

Output

Código de fuente

Usamos ``` para delimitar bloques de código:

```
código
```

Podemos agregar un lenguaje para destacar el código:

```python
1 + 1
```

Pandoc ofrece 140 distintos lenguajes para destacar código.

Guía de referencia

Para una lista exhaustiva de las opciones de formato que tienen los documentos .qmd visitar https://quarto.org/docs/guide/.

Formatos de salida: Documentos

Los formatos de salida más utilizados para documentos creados con Quarto son:

• HTML
• PDF
• DOCX

Formatos de salida: Presentaciones

En Quarto tenemos 3 opciones para presentaciones:

• RevealJS
• PowerPoint
• Beamer

En donde RevealJS es el formato que nos entrega más herramientas. (Esta presentación fue hecha utilizando RevealJS en Quarto)

Caso práctico

Awesome Quarto

Just a test (Moretti 2011)